Các hóa thạch sớm nhất có thể coi là của cá da phiến có tại Trung Quốc và có niên đại từ Trung tới Hậu Silur. Chúng đã phân dị thành các bộ Cá hậu môn ngược (Antiarchi) và Cá cổ khớp (Arthrodira), cùng với các nhóm khác nguyên thủy hơn. Dường như cá da phiến đã đa dạng hóa từ khá lâu trước khi tới kỷ Devon, vào khoảng tiền Silur hay trung Silur, mặc dù các hóa thạch sớm hơn của Placodermi cơ sở vẫn chưa được tìm thấy trong các địa tầng này.

Hồ sơ hóa thạch kỷ Silur của cá da phiến là hoàn toàn phân mảnh. Tất cả các hóa thạch cá da phiến đã biết ngày nay chỉ là các mảnh vỡ, hoặc là các mảnh giáp vụn, hoặc là các vảy rời rạc, trong đó một số được nhận dạng một cách không chắc chắn là Antiarchi hoặc là Arthrodira do các tương đồng mô học. Mặc dù chúng đã được nhận dạng, nhưng nhiều loài trong các nhóm Arthrodira và Antiarchi thuộc kỷ Silur vẫn chưa có mô tả chính thức hay thậm chí là đặt tên. Một điều nghịch lý là mẫu được biết tốt nhất hay được trích dẫn nhiều nhất về cá da phiến kỷ Silur, Wangolepis ở Trung Quốc, chỉ được biết đến từ một vài mảnh vỡ mà hiện tại đang thách thức các cố gắng nhằm đặt chúng vào bất kỳ bộ cá da phiến nào đã được công nhận.

Các nhà cổ sinh vật học và các chuyên gia về cá da phiến nghi ngờ rằng sự thưa thớt của các mẫu hóa thạch cá da phiến kỷ Silur là do cá da phiến đã sống trong các môi trường không có lợi cho việc bảo tồn hóa thạch chứ không phải sự thưa thớt thật sự. Giả thiết này hỗ trợ cho việc giải thích cho biểu hiện bề ngoài dường như là kỳ lạ của cá da phiến cũng như sự đa dạng lớn ở ngay đầu kỷ Devon.

Trong kỷ Devon, cá da phiến đã thống trị gần như mọi hệ thủy sinh thái, cả môi trường nước ngọt lẫn nước mặn, tương phản cực kỳ rõ nét so với kỷ Silur. Nhưng sự đa dạng này cuối cùng lại chịu nhiều tổn thất trong sự kiện tuyệt chủng tại ranh giới Frasne–Famenne tức sự kiện tuyệt chủng Hậu Devon. Các loài còn lại sau đó cũng bị diệt vong trong sự kiện tuyệt chủng Devon/Than đá; không còn loài nào sống sót khi kỷ Than đá bắt đầu.